core: Major cleanup to internal import API

core: Further unify code for importing from local FS and libarchive

Note this change makes it so we no longer call link() from an import
filesystem tree to the repository.  This is a Good Thing really; it
makes local FS commits slower, but also less prone to corruption.

core: Ensure we initialize checksum in FIFO case too

core: Add _from_input variant of checksum API

ostbuild: ostbuild-user-chroot: New Linux-specific utility for safe chroots

gnomeos: Make run script transparently update existing FS image

This is noticeably faster.

gnomeos: commit-yocto-build.sh: Directly import tar files

Oh wow...this is fast.

core: Fix handling of hardlinks for tar commits

We were creating files with the wrong name.  Add a test.

core: Support for committing from any libarchive-supported format

We really want the ability to take a .tar.gz and directly import
it into a repository, without creating a temporary filesystem tree.

First, doing it this way is significantly faster.  Also, this allows
us to handle importing tar files with e.g. uid 0 files into packed
repositories as non-root, which is very useful for tests and builds.

core: Fix a memory leak in checkout

core: Handle NULL xattrs in packfile generation, throw error on invalid mode

core: Correctly map S_ISDIR to G_FILE_TYPE_DIRECTORY

core: Clean up filename utility API

Remove more unused functions, and change pathname splitting to handle
more cases like duplicate //, and to throw an error on .. as a filename.

core: Initialize checksums for non-regular files, handle NULL xattrs

core: Delete some dead utility code

core: New ot_transfer_out_value() macro

This makes out values considerably less typing.

core: Ensure we clean up leftover directories during merge

(Not sure why this regressed)

core: Fix packed file creation

We were calculating the wrong checksum, and also mistakenly
not using packed files in archive mode for non-regular files.

core: Don't use g_file_delete(), it calls into g_vfs_get_default()

For some (probably crazy) reason.  Skipping this and calling
unlink() directly makes 'strace' MUCH smaller.

core: Avoid reading regular file data twice when archiving

core: Further unify API to create files

We now have just one place which writes to the filesystem.  Wrap a
temporary file allocation API on top of that.

core: Use g_io_error_from_errno() to ensure we have more useful error codes

core: Move pack file parsing into core, add ostree_create_file_from_input() API

This moves us closer to consistently passing around a triple of:
  (GFileInfo *info, GVariant *xattrs, GInputStream *content)
Which will help the libarchive work.

core: Tweak dir metadata importing code for libarchive work

This will allow us to share a bit more code.

core: Modify pack file importer to also optionally checksum

For future work on importing from an archive.

core: Add ot_gfile_create_tmp_symlink()

In some cases we'll need the ability to create a symbolic link, then
actually import it.

core: Propagate GCancellable a bit from the import APIs

core: Drop some dead code from packfile writing, expose GInputStream API too

We never actually dropped into the bits to write metadata as packfiles,
because such a thing doesn't exist.

Also add a GInputStream-based API for writing packfiles.

core: Extract stage_and_checksum() internal API

This will be used for staging both metadata and data consistently
before actually importing it.

core: Add ot_gfile_create_tmp() to utils, use it

repo: Don't call g_hash_table_destroy on a NULL hash

core: Split pull functionality into separate ostree-pull binary

This is to avoid everything depending on libsoup.

core: Make libostree.so an installed library

This will make it easier to have multiple binaries.

ostbuild: Relicense under LGPLv2+, tweak artifact generation

core: Use ot_clear_checksum()

otutil: New utility functions

core: Remove an unused variable

core: checksum builtin: Actually quit main loop on error too

core: Make commit always operate on directory contents, not file list

This simplifies things significantly, at some cost in flexibility.
We'll later add the ability to e.g. filter out files by regular
expression.

core: Some tweaks to ls output

gnomeos: Switch to using pseudo for commits

This is noticeably faster.

One side effect here is that xattrs are empty, which is actually
a good thing.

gnomeos: Pull in pseudo into -dev image

As a potential 'fakeroot' implementation.

ostbuild: Don't run fakeroot if we are root

For efficiency reasons, as well as a quick shortcut to avoid pulling
fakeroot into the gnomeos yocto layer.

core: Fix a compiler warning

core: Add ls builtin

core: Don't default to "master" for show, there is no default branch anymore

configure: Actually disable soup-gnome if not found

gnomeos: include -dev packages too in -dev image

Otherwise we don't get headers and stuff...

core: Add asynchronous checksum API, use it in checksum builtin

gnomeos: Add basic device files in /dev

So we're more usable in a chroot for compiling software.

gnomeos: Fetch ostree from file:/// URI

This means anyone not using /src/ostree for the checkout will have
to change it, but it's way less annoying for me not to have to push
changes to git.

ostbuild: Split nice/logger program out, merge make/makeinstall into one executable

daemon: Allow running as non-root in test mode

gnomeos: Prefix branch names with -yocto to clarify their origin

Also add git to the dev image.

gnomeos: Add ncurses to base

core: Minor code cleanup

ostbuild: Rename osbuild to ostbuild, clean up old C files

core: Ad ot_clear_gvariant(), use it

This saves us a conditional.

gnomeos: Make python actually work, install bash by default

core: A bit more daemon work

core: Move merge dirs code into gio utils

core: Stub out a system daemon

gnomeos: Check out both -base and -dev roots

This makes it easier to boot into either.

ostree-init: Also trim trailing newline from arguments

Otherwise the parsed argument is corrupted.

TODO: Update

gnomeos: Add -x86 tag to builds

Since later we'll want -x86_64 too.

core: Rework argument parsing

Default to /sysroot/ostree/repo when run as root.  Also better
handle the requires-repo flag.

gnomeos: local-clone into built image

This way we have the whole history in the image, and we can start
to demo things like switching roots, pulling etc.

core: Ensure data is properly initialized

Avoids a crash if we bail early.

core: Add local-clone builtin

This is useful for converting between e.g. archive and non-archive
repositories.

core: Also chown() after unpacking objects

core: Switch to GFile* for unpacking and storing objects

core: Expose API to get repository tmpdir

core: Rework object iteration API to be GFile based and pass more data

It makes more sense to have e.g. the details of .packfile naming
inside the repo, and pass the expected checksum and type.

core: Skip an unnecessary unlink() call

core: Have single "overwrite" flag instead of ignore_exists+force pair

The default is always ignore_exists.  Also port the internals here
to use more GIO code, and stop using *at syscall variants since they're
only useful if used 100%.

core: Convert public get_object_path() to GFile*

core: More cleanup of GIO utility API

core: Use ot_gfile_ prefix for new local GFile creation function

core: Remove last user of g_file_new()

core: Add checksum builtin

This necessitated reworking things so that builtins can specify no
--repo is required.

core: Make checksum API also operate on directories

core: CHANGE CHECKSUM ALGORITHM, port checksum API to GFile

This commit originally was to port ostree_stat_and_checksum_file() to
GFile*, but I noticed that the checksum code was reading data in host
endianness.  Fix that while we're here.

This invalidates all existing repositories.

core: Convert metadata parsing API to GFile

core: Use GFile for xattr API

gnomeos: Have commit-yocto-build make more assumptions

This is so it's easier to use.

core: Use ot_gfile_get_path_cached() pervasively

This requires no free() calls and is just better.

gnomeos: Refactor build so we can have separate runtime/devel images

core: Fix pull to actually download files too

core: Should write remote refs in refs/<remote>/<branch>

Not just refs/<branch>, otherwise multiple remotes conflict.

core: Allow resolving e.g. "origin/master" as a rev

Also:

* Disallow .. in revs to avoid looking outside where we should be
* Allow resolving empty revs

core: Validate file names read from directory variants

In a future where we pull data from remote servers, we don't want
to allow path uplinks.

core: diff: Correctly handle files changing type

tests: Fix number of tests

core: Flesh out diff a bit more

Now correctly notices changes to directory metadata (not just
contents).

core: Fix a minor memory leak

gnomeos: Some tweaks to image content

core: Implement diff command

gnomeos: Mounts work, far fewer boot errors

gnomeos: Import copy of initscripts from Poky edison release